Эволюция NLP: от фрагментированного ИИ к фундаментальным моделям
Определения
- Фрагментированный ИИ: эпоха, определяемая отдельными специализированными нейронными архитектурами, созданными для конкретных задач, таких как разметка последовательностей или классификация.
- Фундаментальная модель: унифицированная монолитная трансформерная архитектура, которая рассматривает все языковые задачи как генеративную последовательность «текст-в-текст» $x \rightarrow y$.
Ключевые концепции
- Консолидация архитектуры: Исторически NLP требовал специализированных конвейеров (Bi-LSTM для NER, CNN для анализа тональности). LLM объединяют эти изолированные решения в единый базовый каркас, где одни и те же веса используются для любой задачи.
- Унифицированный интерфейс: LLM заменяют специализированные «выходные головы» (например, Softmax на 3 класса) интерфейсом на естественном языке. Входы и выходы всегда являются строками, что позволяет модели интерпретировать намерение а не формат.
- Передача знаний: Традиционные модели были «чистым листом» для каждой задачи. LLM отдают приоритет принципу «Сначала обобщение», при котором конкретные задачи — это лишь применения уже существующего надёжного внутреннего представления языка.
Исторический контекст
- До 2018 года: Изоляция задач требовала обучения отдельных моделей с разными функциями потерь $\mathcal{L}_{task}$.
- Современная эпоха: Парадигма «текст-в-текст» позволяет одной модели (например, Llama-3) переключаться между задачами с помощью zero-shot или few-shot промптинга.
Сравнение реализаций на Python
